Recientemente, un incidente ocurrido en un grupo de Facebook para amantes de los hongos ha vuelto a suscitar preocupaciones sobre la seguridad de las aplicaciones de IA. Según 404Media, un agente de IA llamado 'FungiFriend' se infiltró en el grupo 'Identificación y debate sobre hongos del noreste', con 13.000 miembros, y ofreció consejos erróneos con un potencial riesgo mortal. Cuando se le preguntó cómo cocinar hongos Sarcosphaera coronaria con alta concentración de arsénico, FungiFriend no solo respondió incorrectamente, sino que...

Highwire lanza una herramienta de gestión de riesgos de seguridad basada en IA que proporciona información detallada a los contratistas mediante la revisión automatizada de documentos y la identificación de riesgos, lo que reduce miles de horas de revisión manual tradicional. La herramienta proporciona evaluaciones de contratistas más precisas, ayudando a los gerentes a implementar estrategias de mitigación antes de que comience el trabajo. Clasifica los protocolos de seguridad como generales, detallados o exhaustivos, yendo más allá de un simple análisis de aprobado/reprobado para permitir una toma de decisiones más inteligente. Desarrollada en la Universidad de Harvard, esta tecnología de IA está diseñada para servir tanto a las grandes empresas con programas de seguridad maduros como a los contratistas más pequeños, con el objetivo de mejorar la seguridad.

La junta directiva de OpenAI ha anunciado que tiene derecho de veto, prestando especial atención a los riesgos de seguridad de modelos de vanguardia como GPT-5. La empresa ha establecido un equipo de asesores de seguridad que presenta informes mensuales para asegurar que la gerencia esté al tanto del uso indebido de modelos como ChatGPT. Bajo el nuevo marco de seguridad, la empresa ha establecido restricciones que requieren que los modelos alcancen una puntuación de seguridad determinada antes de pasar a la siguiente fase de desarrollo. Se han creado tres equipos de seguridad para abordar los riesgos de IA en diferentes escalas de tiempo, que abarcan principalmente la ciberseguridad y los riesgos CBRN. La empresa realiza simulacros de seguridad periódicos e invita a equipos rojos de terceros a evaluar los modelos.

La Fuerza Espacial de EE. UU. ha suspendido el uso de herramientas de IA generativa basadas en la web, como ChatGPT, por parte de su personal. Esta medida se debe a preocupaciones sobre los riesgos de agregación de datos y se espera una aprobación formal antes de reanudar su uso. La Fuerza Espacial ha formado un grupo de trabajo con otras agencias del Pentágono para considerar el uso responsable de estas tecnologías. Un portavoz de la Fuerza Aérea confirmó la suspensión, calificándola como una medida temporal para proteger la seguridad de los datos. La Fuerza Espacial planea publicar más directrices sobre el uso de la IA generativa el próximo mes.